2001- 2004: First Sessions và Come Away with Me

Sau khi chuyển đến Thành phố New York, Jones đã ký hợp đồng với Blue Note, một nhãn hiệu thuộc sở hữu của tập đoàn EMI Group. Quyết định ký kết hợp đồng là kết quả gián tiếp của việc Jones hợp tác hát đệm cho ca sĩ - nhạc sĩ Victoria Williams.[16] Shell White, vợ của nhà sản xuất Williams JC Hopkins hiện đang làm việc tại cơ quan bản quyền của Blue Note đã đưa 3 bài hát thử nghiệm đến chủ tịch của hãng Bruce Lundvall và người kiểm tra của hãng Brian Bacchus. Ba bài hát thu thử gồm 2 bài hát thu thử đúng tiêu chuẩn của Jones và một bài hát của Jesse Harris.[16] Lundvall và Bacchus đã lập tức đồng ý khi phát hiện ra tiềm năng lớn của Jones. Bacchus nói với HitQuarters: "Chúng tôi sẽ để cô ấy tự lựa chọn hướng đi riêng của mình... Chúng tôi biết rằng nếu cô ấy có thể phát triển tài năng sáng tác của mình, chúng ta sẽ được thưởng thức những bài hát tuyệt hay trong tương lai không xa".[16]

Sau đó Jones đã bắt đầu hợp tác lần đầu tiên với nhà sản xuất và thiết kế âm nhạc giàu kinh nghiệm Jay Newland. Bacchus nghĩ rằng kinh nghiệm của Jay trong các thể loại nhạc đa dạng như jazz, blue, rock, đồng quê và folk sẽ là "một sự kết hợp tuyệt vời cho sáng tác của Jones".[16] Họ cùng nhau cắt giảm 9 bài hát thu thử, trong đó 6 bài hát sẽ được đưa vào album First Sessions do hãng Blue Note phát hành, các bài còn lại sẽ được đưa vào album đầu tay của riêng cô.[16] First Sessions được phát hành chính thức vào năm 2001.

Jones đã từng là một ca sĩ lounge trước khi trở thành một nghệ sĩ thu âm.[17] Trước khi phát hành album đầu tay, cô đã từng biểu diễn với Wax Poetic, Peter Malick và tay guitar jazz Charlie Hunter.[18][19][20]

Album đầu tay của cô phát hành tháng 2 năm 2002, Come Away with Me, là sự kết hợp một loại âm nhạc êm dịu, một chút âm hưởng Pop và chủ đạo là nhạc Jazz. Ra mắt ở vị trí thứ 139, album đã tiến tới đạt vị trí quán quân trên bảng xếp hạng Billboard 200. Đĩa đơn "Don't Know Why" cũng đạt quán quân trên Top 40 Adult Recurrents năm 2003 và đứng thứ 30 trên bảng xếp hạng Billboard Hot 100.

Năm 2003, cô đoạt 5 giải Grammy bao gồm: Nghệ sĩ mới xuất sắc nhất, Album của năm và Album giọng Pop xuất sắc nhất; Thu âm của năm và Trình diễn giọng Pop nữ xuất sắc nhất cho ca khúc "Don't Know Why" tại lễ trao Giải Grammy lần thứ 45. Điều đó đã khiến cô trở thành một trong những nữ nghệ sĩ giành được nhiều Giải Grammy nhất chỉ trong một đêm (cùng Lauryn Hill và Alicia Keys). Đêm đó, Jesse Harris đã nhận Giải Grammy cho Bài hát của năm cho ca khúc "Don't Know Why", Arif Mardin giành giải Sản xuất của năm cho album Come Away with Me, album cũng nhận được Giải Grammy cho Album Engineered, Non-Classical xuất sắc nhất.

Album trên đã được chứng nhận đĩa bạch kim của Hiệp hội Công nghiệp ghi âm Hoa Kỳ vào 22 tháng 8 năm 2002, và sau đó cũng được chứng nhận kim cương vào 15 tháng 2 năm 2005.[21]